⚙️ Transformer 五组件
20 门课程 · 从原理到工程
📁 点击封面或标题跳转至
课程名称/index.html
D
《Dropout在Embedding层的防过拟合技巧》
Embedding
dropout
A
《Dropout在注意力机制中的最佳实践》
Attention
dropout
SA
《Dropout率对自注意力模型的影响分析》
Self-Attention
ablation
E
《Embedding向量维度与模型容量关系》
Embedding
capacity
W
《Embedding层权重共享与梯度优化实战》
weight-sharing
gradient
LN
《LayerNorm与BatchNorm在NLP中的抉择》
normalization
NLP
∇
《LayerNorm原理与反向传播推导》
LayerNorm
backprop
MLP
《MLP中间层宽度与泛化能力实验》
MLP
generalization
🧩
《MLP模块在Transformer中的隐藏设计》
Transformer
architecture
⚡
《MLP激活函数选型与计算效率平衡》
activation
efficiency
🧮
《Self-Attention 数学本质与代码复现》
math
implementation
✍️
《Transformer核心组件从零手写实现》
from-scratch
core
📱
《五组件在边缘设备上的内存优化方案》
edge
memory
🐞
《五组件联合调试与训练稳定性指南》
debug
stability
🔗
《从Embedding到输出：全链路拆解实战》
pipeline
end2end
📄
《从论文复现角度理解五组件设计意图》
paper
reproduce
🔄
《从零实现Transformer：Self-Attention中的残差连接与LayerNorm》
residual
LayerNorm
🎯
《多头注意力机制中的Embedding维度分配》
multi-head
dimension
⚙️
《工业级Transformer五组件性能调优手册》
performance
tuning
📦
《手写简化Transformer五组件完整工程》
minimal
engineering